DiffusionGemma : Google joue pour le titre de champion de l’inférence locale | LeMagIT

LeMagIT - 12/06
Après TurboQwant, le laboratoire d’IA Google DeepMind poursuit ses recherches d’équilibre entre efficience et performance. Avec le LLM DiffusionGemma, le laboratoire dépoussière l’attention bidirectionnelle et en fait le mécanisme clé pour générer des réponses à plus de 700 tokens à la seconde sur une station de travail.

Alors qu’Anthropic et OpenAI misent sur des modèles toujours plus imposants, Google joue sur deux plans. Oui, il poursuit l’entraînement de très grands LLM, mais il cherche aussi à proposer des modèles compétitifs en local, sur site ou dans de petites instances de data centers cloud.

C’est notamment le rôle de la collection Gemma 4. Ce ne sont pas les modèles open weight et multimodaux les plus performants à en croire les parangonnages d’Artificial Analysis. Néanmoins, il se distingue par un (trop ?) bon suivi d’instructions (en modifiant le system prompt) et leur vitesse de réponse.

Plus de 1000 tokens par seconde sur un seul GPU

Avec son expérimentation DiffusionGemma, Google veut aller plus loin sur ce dernier point. Exécuté sur un GPU Nvidia H100 (80 Go de VRAM), le LLM basé sur Gemma 4 A4B-26B (26 milliards de paramètres au total, mais moins de 4 actifs) produirait plus de 1100 tokens par seconde, contre 300 pour son modèle d’origine avec la prédiction multitoken enclenchée et environ 700 tokens/seconde sur un GPU « prosumer » Geforce RTX 5090 (32 Go de VRAM). Google a également travaillé avec Nvidia pour prendre en charge la carte RTX 4090, doté de 24 Go de VR...
[Courte citation de 8% de l'article original]